|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (referee) ; Fajčík, Martin (advisor)
Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.
|
|
|
Novel Methods for Natural Language Generation in Spoken Dialogue Systems
Dušek, Ondřej ; Jurčíček, Filip (advisor) ; Ircing, Pavel (referee) ; Žabokrtský, Zdeněk (referee)
Title: Novel Methods for Natural Language Generation in Spoken Dialogue Systems Author: Ondřej Dušek Department: Institute of Formal and Applied Linguistics Supervisor: Ing. Mgr. Filip Jurčíček, Ph.D., Institute of Formal and Applied Linguistics Abstract: This thesis explores novel approaches to natural language generation (NLG) in spoken dialogue systems (i.e., generating system responses to be presented the user), aiming at simplifying adaptivity of NLG in three respects: domain portability, language portability, and user-adaptive outputs. Our generators improve over state-of-the-art in all of them: First, our gen- erators, which are based on statistical methods (A* search with perceptron ranking and sequence-to-sequence recurrent neural network architectures), can be trained on data without fine-grained semantic alignments, thus simplifying the process of retraining the generator for a new domain in comparison to previous approaches. Second, we enhance the neural-network-based gener- ator so that it takes preceding dialogue context into account (i.e., user's way of speaking), thus producing user-adaptive outputs. Third, we evaluate sev- eral extensions to the neural-network-based generator designed for producing output in morphologically rich languages, showing improvements in Czech generation. In...
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (referee) ; Fajčík, Martin (advisor)
Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.
|
|
|
Novel Methods for Natural Language Generation in Spoken Dialogue Systems
Dušek, Ondřej ; Jurčíček, Filip (advisor) ; Ircing, Pavel (referee) ; Žabokrtský, Zdeněk (referee)
Title: Novel Methods for Natural Language Generation in Spoken Dialogue Systems Author: Ondřej Dušek Department: Institute of Formal and Applied Linguistics Supervisor: Ing. Mgr. Filip Jurčíček, Ph.D., Institute of Formal and Applied Linguistics Abstract: This thesis explores novel approaches to natural language generation (NLG) in spoken dialogue systems (i.e., generating system responses to be presented the user), aiming at simplifying adaptivity of NLG in three respects: domain portability, language portability, and user-adaptive outputs. Our generators improve over state-of-the-art in all of them: First, our gen- erators, which are based on statistical methods (A* search with perceptron ranking and sequence-to-sequence recurrent neural network architectures), can be trained on data without fine-grained semantic alignments, thus simplifying the process of retraining the generator for a new domain in comparison to previous approaches. Second, we enhance the neural-network-based gener- ator so that it takes preceding dialogue context into account (i.e., user's way of speaking), thus producing user-adaptive outputs. Third, we evaluate sev- eral extensions to the neural-network-based generator designed for producing output in morphologically rich languages, showing improvements in Czech generation. In...
|
guest ::
